Triệu Gia là con trưởng của Triệu Điệu Tương vương. Vua cha yêu người vợ thứ vốn làm nghề hát xướng, sinh ra người em là Triệu Thiên. Triệu Thiên được vua cha yêu mến nên lập làm thái tử. Năm 236 TCN, Triệu Điệu Tương vương mất, Triệu Thiên lên nối ngôi, tức là Triệu U Mục vương.

Năm 229 TCN, Tần vương Chính sai Vương Tiễn đánh Triệu. Triệu U Mục vương tin dùng gian thần Quách Khai, nghe lời Quách Khai đã nhận tiền của nước Tần gièm pha tướng Lý Mục. Triệu vương Thiên giết Lý Mục khiến quân Triệu không còn tướng giỏi, bị quân Tần đánh bại. Vương Tiễn tiến vào Hàm Đan bắt Triệu vương Thiên (228 TCN).

Lúc Hàm Đan thất thủ, Triệu Gia không chịu đầu hàng quân Tần, cùng với vài trăm quý tộc nước Triệu bỏ chạy lên đất Đại ở phía bắc. Ông tự xưng là Đại vương làm vua đất Đại, sai sứ sang nước Yên liên minh với Yên vương Hỉ và thái tử Đan, đóng quân ở Thượng Cốc, tiếp tục duy trì nước Triệu chống Tần.